2013年下半，學術界開始出現一些關於生物醫學研究所使用的「統計顯著」是否恰當的討論。例如，Nature Methods 2013年8月的 Matters of significance，PNAS 上的「統計證據的新標準」（Revised standards for statistical evidence），科學人（Scientific America）上的「統計的顯著，以及其在科學研究垮台中扮演的角色」（Statistical significance and its part in science downfalls），等等。
簡單的說，我們日常在報導中看到的，諸如「科學研究指出xxxx的人壽命多五年」，「科學研究證實xxxx會提高罹患癌症的風險高達3倍」，這類資訊，即便是真的出自科學研究，但其實往往是不怎麼靠譜的。其中的原因很多，但根本上的問題是出自於這個領域過去習慣「檢驗科學證據」所採用的標準：統計檢定。
Rafael Irizarry 在他的「科學研究的 ROC 曲線」（The ROC curves of science） 一文中，對物理學跟生醫科學的研究方式作了個有趣的比較。
首先要稍微解釋一下所謂的ROC曲線（Receiver operating characteristic）是什麼。我們在判斷一件事情「是不是真的」的時候，基本上會有四種可能性：
- 真陽性（TP）：我說是真的，實際上也是真的。
- 偽陽性（FP）：我說是真的，實際上卻不是真的。（Type I error）
- 真陰性（TN）：我說不是真的，實際上也不是真的。
- 偽陰性（FN）：我說不是真的，實際上卻是真的。（Type II error）
由上面的四種情形，可以算出各種「事情是真/假的的時候，我判斷正確/錯誤的機率」，而 ROC 曲線，表示的是「代誌係金吔的時候，我正確的判斷它是真的的機率」（TPR）和「事情不是真的，我誤判它是真的機率」（FPR）的組合。簡單一點說，就是「評估判斷力好不好」的一種標準。
Rafael Irizarry 用類似的觀點來審視「科學研究的成果」，只是他把 TPR 換成「每十年內重要發現的數量」。上面的圖，表示的是「物理科學」跟「生醫科學」的表現：物理科學是比較成熟的學門，所以「誤判」的機會比較低，但是可能得到的重大發現也有瓶頸；而生醫科學誤判率較高，但是如果能容忍這個狀況，整體得到的重大發現也會比較多。
當然，這些都是 Rafael Irizarry 自己的假設，究竟真相如何，也很難說。讀者可以自己判斷看看，Rafael Irizarry 的說法到底是真的，還是假的？
沒有留言:
張貼留言